На днях на сайте проекта VMware Labs появилась очередная новая штука - средство Infrastructure Deployer for vCloud NFV, позволяющее в автоматическом режиме развернуть платформу VMware vCloud NFV (в издании NFV 3.2 VCD) и сконфигурировать ее. Напомним, что NFV - это комплексное решение по виртуализации сетевого стека для сервис-провайдеров (грубо говоря, замена аппаратных роутеров, сетевых экранов и прочих компонентов комплексом из виртуальных машин, предоставляющих динамические сетевые сервисы).

Сам рабочий процесс развертывания основан на архитектуре VMware vCloud NFV 3.0 Reference Architecture и предназначен только для инфраструктуры, развертываемой с нуля (то есть донастроить существующие компоненты не получится).

Сам продукт состоит из двух компонентов:

• Входной текстовый файл, в который нужно поместить данные об окружении и компонентах платформы vCloud NFV, которые необходимо развернуть.
• Скрипты PowerShell, которые будут исполнены в процессе развертывания.

Для запуска процедуры автоматизированного развертывания потребуется выполнение следующих условий:

• Работающий DNS-сервер.
• Все компоненты должны иметь актуальные FQDN в DNS.
• В инфраструктуре должен функционировать NTP-сервис.
• PowerShell не ниже 5.0 и PowerCLI не ниже 10.x.
• На Jump VM (там, где запускаются скрипты) должны быть установлены все последние обновления Windows.

Скачать Infrastructure Deployer for vCloud NFV можно по этой ссылке. Там же доступно развернутое руководство пользователя на 57 страницах.

В сентябре этого года мы рассказывали о возможностях новой версии решения для мониторинга и защиты сетевой составляющей виртуальной среды VMware vRealize Network Insight 5.0 (vRNI). Напомним, что это решение позволяет системным и сетевым администраторам (а также администраторам информационной безопасности) наблюдать за сетевым взаимодействием в рамках виртуальной инфраструктуры и предпринимать действия по ее защите.

В рамках прошедшего VMworld Europe 2019 компания VMware анонсировала обновление этой платформы - vRNI 5.1. Давайте посмотрим, что в этом решении появилось нового.

Во-первых, VMware продолжает улучшать функции SD-WAN, которые появились в продукте благодаря технологиям купленной компании VeloCloud. В духе фичи Virtual Network Assessment for NSX, версия vRNI 5.1 имеет функцию SD-WAN Assessment. Она анализирует трафик и данные из имеющейся невиртуализированной сети WAN и рассчитывает возврат инвестиций, если вы решите вложить деньги во внедрение решения SD-WAN.

Во-вторых, VMware добавила в vRNI новый дэшборд - VMware Cloud on AWS dashboard. Он позволяет вести мониторинг среды AWS в контексте концепции software defined data center (SDDC) и поддерживает компонент AWS Edge firewall, что дает возможности просмотра правил и их маппинга на сетевые потоки.

Третья интересная возможность vRNI 5.1 - функции для операций ежедневного обслуживания (Day-2 operation), такие как просмотр общего состояния инфраструктуры приложений, возможность просмотра упавших по скорости потоков, анализ трафика и другие средства, доступные в Application Dashboard.

Четвертая новая фича - поддержка физического NAT при анализе пути VM-VM, а также поддержка аппаратного Arista VTEP.

Ну и последняя новая возможность vRNI 5.1 - это улучшение функций для операций ежедневного обслуживания для решения VMware NSX-T, а также доработанные средства визуализации развернутых и затронутых изменениями компонентов.

Решение VMware vRealize Network Insight 5.1 пока нельзя скачать, но в скором времени VMware обещает его публичную доступность.

На сайте проекта VMware Labs недавно появилась очередная интересная штука - средство Virtualized High Performance Computing Toolkit. С помощью этого пакета пользователи VMware vSphere, которым требуется поддержка виртуальных машин, работающих в сфере высоких нагрузок (High Performance Computing, HPC), могут упростить управление жизненным циклом таких специализированных конфигураций через vSphere API.

Как правило, задачи HPC требуют использования таких технологий, как vGPU и FPGA, а также RDMA interconnects для высокопроизводительных вычислений. Помимо возможностей управления конфигурациями, тулкит содержит средства, которые дают администраторам возможности по выполнению типовых задач в HPC-окружениях на виртуальной платформе - клонирование ВМ, определение Latency Sensivity, сайзинг машин по vCPU и памяти, а также некоторые другие.

Вот возможности Virtualized High Performance Computing Toolkit списком:

• Настройка устройств PCIe в режиме DirectPath I/O с использованием GPGPU, FPGA и RDMA interconnects.
• Настройка NVIDIA vGPU.
• Настройка RDMA SR-IOV (Single Root I/O Virtualization).
• Настройка  PVRDMA (Paravirtualized RDMA).
• Возможность простого создания и удаления виртуальных кластеров HPC с использованием файлов конфигурации.
• Выполнение частых задач vSphere - клонирование ВМ, настройка vCPU, памяти, резерваций, shares, Latency Sensitivity, коммутаторов Distributed Virtual Switch/Standard Virtual Switch, сетевых адаптеров и конфигураций.

С помощью тулкита вы сможете применить приведенные выше операции к одной или нескольким ВМ одновременно. Например, вот так выглядит клонирование машины на базе шаблона vhpc_clone с заданными кастомизациями памяти и CPU и добавление NVIDIA vGPU в соответствии с профилем vGPU по имени grid_p100-4q:

vhpc_toolkit> clone --template vhpc_clone --datacenter HPC_Datacenter --cluster COMPUTE_GPU_Cluster --datastore COMPUTE01_vsanDatastore --memory 8 --cpu 8 –-file VM-file

vhpc_toolkit> vgpu --add --profile grid_p100-4q --file VM-file

В файле VM-file должен содержаться список клонов ВМ, которые должны получиться в результате операции.

А вот такой командой можно собрать кластер под HPC-задачи в соответствии с конфигурацией, указанной в файле cluster.conf:

vhpc_toolkit> cluster --create --file cluster.conf

Больше подробностей об этом тулките можно получить в репозитории на GitHub вот тут. Скачать Virtualized High Performance Computing Toolkit можно там же.

В сентябре этого года мы писали о VMware Cloud Foundation 3.8.1 - комплексном программном решении, которое включает в себя компоненты VMware vRealize Suite, VMware vSphere Integrated Containers, VMware Integrated OpenStack, VMware Horizon, NSX и другие, работающие в онпремизной, облачной или гибридной инфраструктуре предприятия под управлением SDDC Manager.

На днях компания VMware объявила о выходе обновленной архитектуры VMware Cloud Foundation 3.9.

Давайте посмотрим, что нового появилось в VCF 3.9:

• Поддержка апгрейдов на уровне кластера - теперь есть возможность выбрать отдельные кластеры в рамках домена рабочей нагрузки для обновления хостов ESXi.
• Возможность управления несколькими экземплярами Cloud Foundation из одной консоли.
• Домены рабочей нагрузки Virtual Infrastructure (VI) теперь поддерживают Fibre Channel (в дополнение к vSAN и NFS) как Principal Storage.
• Возможность пересборки конфигураций серверов Dell MX под нужды заказчиков.
• В SDDC Manager можно настроить бэкап NSX Managers на сервер SFTP таким образом, чтобы он находился в отдельной зоне отказа (fault zone). Рекомендуется зарегистрировать сервер SFTP на SDDC Manager после обновления и во время первоначальной настройки.
• Бета-возможность Developer Center - она позволяет получить доступ к Cloud Foundation API и примерам кода под SDDC Manager Dashboard.
• Поддержка Cloud Foundation API была существенно расширена, подробнее об этом рассказано тут.
• Bill of Materials (BoM) был обновлен до последних версий продуктов.

Вот список BoM для релиза VCF 3.9:

На днях компания VMware обновила свой основной фреймворк для управления виртуальной инфраструктурой с помощью сценариев - PowerCLI 11.5. Напомним, что о прошлой версии, PowerCLI 11.4, мы писали в конце августа этого года.

Давайте посмотрим, что интересного появилось в PowerCLI 11.5:

1. Новые командлеты для управления библиотеками Content Library.

В последних версиях VMware vSphere функциональность библиотек Content Library была существенно доработана (кстати, это был один из первых сервисов, использовавших vSphere Automation REST API). PowerCLI старается не отставать, поэтому тут было добавлено 8 новых командлетов, а также была добавлена поддержка шаблонов (templates):

• New-ContentLibraryItem
• Set-ContentLibraryItem
• Remove-ContentLibraryItem
• Export-ContentLibraryItem
• New-ContentLibrary
• Set-ContentLibrary
• Get-ContentLibrary
• Remove-ContentLibrary

Вот пример опроса содержимого объекта библиотеки:

2. Обновление механизма vCenter Alarm Management.

В PowerCLI уже имеются средства для управления алармами vCenter, но их пользователям явно недостаточно. Новая версия PowerCLI имеет 6 новых и 3 обновленных командлета для управления определениями алармов, триггерами, а также для получения данных о типах событий и метриках.

Новые командлеты:

• New-AlarmDefinition
• Remove-AlarmDefinition
• New-AlarmTrigger
• Get-AlarmTrigger
• Get-EventType
• Get-Metric

Обновленные командлеты:

• New-AlarmAction
• New-AlarmActionTrigger
• Set-AlarmDefinition

Вот пример работы нового командлета, где создается определение аларма в vCenter:

3. Обновление модуля VMware Cloud on AWS.

Модуль для управления VMware Cloud on AWS (VMC) - это один из самых новых модулей. Ранее он использовался как средство низкоуровневого взаимодействия с инфраструктурой VMC. Теперь же этот низкоуровневый интерфейс был заменен на высокоуровневые команды для осуществления операций, необходимых пользователю.

Пример - теперь для создания объекта SDDC используется 1 команда вместо 20 строчек кода, которые требовались раньше:

А вот, собственно, новые командлеты, которые появились для VMC (подробнее - здесь):

• Get-VmcSddc
• Set-VmcSddc
• New-VmcSddc
• Remove-VmcSddc
• Add-VmcSddcHost
• Remove-VmcSddcHost
• Get-AwsAccount
• Get-AwsVpcSubnet

4. Обновленный модуль VMware Core.

Здесь, прежде всего, была доработана функциональность, связанная с тэгами. Командлет Get-Tag и параметр Tag для Get-VM были обновлены, также были обновлены и командлеты Get/Remove-TagAssignment.

Кроме того, базовые функции обогатились некоторыми полезными функциями. Например, теперь при создании виртуальной машины из шаблона средствами командлета New-VM появилась возможность настройки портгруппы через параметры NetworkName или Portgroup.

Также в vSphere 6.7 появилось новое свойство виртуальной машины CreateDate, которое теперь также поддерживается в командлетах, связанных с виртуальной машиной:

Больше информации о новых возможностях VMware PowerCLI 11.5 можно почерпнуть в следующих документах:

• VMware PowerCLI Change Log
• VMware PowerCLI 11.5.0 User’s Guide
• VMware PowerCLI 11.5.0 Cmdlet Reference

Update-Module -Name VMware.PowerCLI

Скачать VMware PowerCLI 11.5 можно по этой ссылке.

Недавно компания Gartner опубликовала свой магический квадрант и отчет, касающийся расстановки сил среди решений для резервного копирования и восстановления систем современных датацентров (Data Center Backup and Recovery Solutions).

Компания Veeam со своим пакетом решений Veeam Availability Suite заняла в этом квадранте заслуженное место лидера (уже третий год подряд):

Компания Veeam за последнее время сделала немало всего для укрепления своей позиции в секторе лидеров:

• Приобрела компанию N2WS для резервного копирования и восстановления в облаке AWS.
• Разработала технологию DataLabs, которая представляет собой улучшенную версию виртуальных тестовых лабораторий с функцией мгновенного монтирования бэкапов.
• Представила решение Veeam Availability Orchestrator.
• Добавила поддержку систем AIX и Solaris для резервного копирования.
• Добавила нативную поддержку ярусов хранения в облаках AWS, Azure/Azure Stack, IBM Cloud и хранилищах Amazon S3.
• Добавила поддержку решения Nutanix AHV.
• Добавила поддержку дисковых flash-массивов Infinidat и Pure Storage.

Более подробно о решении Veeam Availability Suite можно узнать по этой ссылке.

О магических квадрантах Gartner

Напомним, что Magic Quadrant используется для оценки поставщиков какого-либо сегмента рынка информационных технологий, где Gartner использует две линейные прогрессивные экспертные шкалы:

• полнота видения (completeness of vision)
• способность реализации (ability to execute)

Каждый поставщик, попавший в рамки рассмотрения для исследуемого сегмента рынка, оценивается по этим двум критериям. При этом, полнота видения откладывается на оси абсцисс, способность реализации — на оси ординат. Каждый поставщик, таким образом, оказывается в одном из четырёх квадрантов плоскости, называемых:

• Лидеры (leaders) — поставщики с положительными оценками как по полноте видения, так и по способности реализации.
• Претенденты (challengers) — поставщики с положительными оценками только по способности реализации.
• Провидцы (visionaries) — поставщики с положительными оценками только по полноте видения.
• Нишевые игроки (niche players) — поставщики с отрицательными оценками по обоим критериям.

Это гостевой пост нашего партнера - сервис-провайдера ИТ-ГРАД, предлагающего услугу аренды виртуальных машин из облака. Делать бэкапы любят не все. Однако лучше потратить пять минут на бэкап, чем столкнуться с отсутствием возможности восстановления после сбоя. В Veeam это хорошо понимают, поэтому в Availability Suite...

В последних числах августа компания StarWind Software, выпускающая продукты для организации хранилищ под виртуализацию, выпустила обновленную версию решения для создания iSCSI-хранилищ на платформах vSphere и Hyper-V - StarWind Virtual SAN V8 build 13182. Давайте посмотрим, что нового появилось в этом продукте...

На сайте проекта VMware Labs очередное обновление - вышла новая версия продукта Virtual Machine Compute Optimizer 2.0. Это средство представляет собой PowerShell-сценарий для модуля PowerCLI VMware.VimAutomation.Core, который собирает информацию о хостах ESXi и виртуальных машинах в вашем виртуальном окружении и выдает отчет о том, правильно ли они сконфигурированы с точки зрения процессоров и памяти.

Напомним, что о первой версии данной утилиты мы писали летом этого года вот тут. Давайте посмотрим, что нового появилось в Virtual Machine Compute Optimizer 2.0:

• Собираются приоритеты найденных несоответствий.
• Вывод деталей найденных несоответствий.
• Собирается информация о кластере, чтобы определить совместимость оборудования хостов на уровне кластера.
• В отчет добавляется информация, если виртуальная машина использует разные физические pNUMA узлы, которые транслируются в гостевую ОС.
• Добавляется информация об измененных расширенных настройках на уровне ВМ или хоста ESXi, касающихся представления pNUMA-узлов в гостевую ОС.
• В отчет попадают ВМ, если у них число vCPU (с использованием гипертрэдов как vCPU) превышает число физических ядер CPU на хосте ESXi.
• Возможность использовать отдельную функцию Get-OptimalvCPU для получения еще большей гибкости.

Скачать VM Compute Optimizer 2.0 можно по этой ссылке. Данный сценарий PowerCLI можно запустить различными способами, смотрите сопровождающий PDF (можно выбрать в комбобоксе при загрузке) для получения более детальной информации.

Статья нашего спонсора - компании ИТ-ГРАД, предоставляющей в аренду виртуальные машины из облака. Слегка перефразируя крылатую фразу «профессора» Воланда, можно сказать: компьютерное железо смертно. Но хуже всего то, что оно внезапно смертно. Регулярное резервное копирование позволяет компаниям защитить данные физической и виртуальной инфраструктуры, минимизировав угрозу их потерь.

Интересно наблюдать за тем, какими темпами компания VMware наверстывает упущенное по наращиванию функциональности мобильного клиента для VMware vSphere. Еще совсем недавно мы писали о версии 1.5, а на днях был выпущен уже обновленный VMware vSphere Mobile Client 1.6.

Давайте посмотрим, что там появилось нового:

• Хосты ESXi теперь можно перезагружать из интерфейса мобильного клиента.
• Последние задачи теперь можно видеть в представлении Tasks (статусы running/in-progress).
• Был проведен редизайн карточек объектов (ВМ, хост, кластер и задача).
• Быстрые действия с объектом теперь можно вывести по тапу на него.
• Карточка виртуальной машины содержит скриншот гостевой ОС, который можно увеличить, тапнув на него.
• На дэшборд был добавлен портлет обратной связи, который позволяет написать разработчикам отзыв о приложении.
• Для хостов ESXi теперь доступы графики производительности.
• Меню навигации было укрупнено, поэтому теперь проще попадать по его элементам.

Скачать обновленный vSphere Mobile Client 1.6 можно по этим ссылкам:

• Android (доступно как Early access приложение).
• iOS - до того, как ставить это приложение на айфон, нужно скачать приложение для тестировщиков Test Flight.

Также не забудьте посмотреть инструкцию о развертывании Notification Service (он доступен как Docker-контейнер), чтобы включить Push-уведомления на своих устройствах.

Довольно интересная штука обнаружилась среди бесплатных средств для мониторинга виртуальной инфраструктуры VMware vSphere - утилита с неблагозвучным названием LPAR2RRD. Оказывается на днях вышла ее версия 6.1, где появилось несколько новых возможностей.

Сама утилита LPAR2RRD - это бесплатное средство мониторинга для сред VMware vSphere и IBM Power Systems без агентов, которое позволяет отслеживать различные аспекты производительности хостов и виртуальных машин. Если же поставить агенты в ОС, то решение будет работать и с такими системами, как AIX & Linux, IBM i (AS/400) и Solaris.

Полнофункциональное демо этого продукта доступно по этой ссылке.

Надо отметить, что продукт вполне развивается и обновляется разработчиками, несмотря на свою бесплатность. В данном решении есть следующие основные возможности для мониторинга сред VMware vSphere:

• Мониторинг ресурсов
  • vCenter
  • Cluster
  • Resource Pool
  • Datastore
  • ESXi
  • Virtual Machine
• Метрики мониторинга
  • Производительность CPU (GHz, число CPU, показатель CPU ready)
  • Использование памяти (reserved, granted, consumed, active, baloon, swap in, limit)
  • Производительность LAN в МБ/сек
  • Производительность дисковой подсистемы (МБ/сек, IO per sec, latency в миллисекундах)
  • Использование дисков (ГБ)
• Другие возможности
  • Функция Trends
  • Исторические отчеты
  • Функции Heatmap
  • Возможность масштабирования графиков

Для тех, кто знаком с этим решением, вот список новых возможностей LPAR2RRD 6.1, вышедшей в октябре:

• Новый раздел Dashboard - полностью кастомизабельное пространство для графиков и диаграмм. Пользователь может менять размер графиков, создавать группы и двигать графики между ними.
• Раздел Heatmap - добавлена визуализация в сортируемых и фильтруемых таблицах.
• Улучшенная конфигурация через REST API для IBM Power Systems в части виртуальных сетей vSCSI и NPIV.
• Поддержка папок для vSphere (VM, Datastores).
• Таблица использования пространства виртуальными машинами в кластере (VM SPACE).
• Поддержка формата CSV в компоненте Reporter.
• Структура меню Hyper-V консолидирована по использованию ресурсов на вкладках вместо подразделов меню.
• Поддержка Solaris: мониторинг пулов.
• Reporter: поддержка Solaris и Hyper-V.
• Reporter: поддержка функционала TOP10 (графики можно вывести в pdf).
• Reporter: доступен файл с рекомендациями конфигурации в формате CSV.
• Поддержка кастомных групп для Hyper-V.
• Улучшения контроля доступа (ACL) - роль read-only.
• Множество небольших улучшений и багофиксов для следующих платформ:
  • IBM Power Systems: HMC REST API
  • Oracle Solaris
  • Microsoft Windows и Hyper-V

Скачать LPAR2RRD можно абсолютно бесплатно в виде виртуального модуля (Virtual Appliance) вот здесь.

Часто при миграциях vMotion виртуальной машины с одного хоста ESXi на другой возникает проблема, источник которой не очень понятен. Большинство администраторов знают основные требования vMotion, также при миграции иногда показываются информационные сообщения, отражающие причину, по которой процесс завершился неудачно.

Но такое бывает не всегда, поэтому давайте посмотрим, как правильно искать причины ошибок vMotion в логах хостов. Для начала напомним основные причины проблем с vMotion:

• Проблемы сетевых соединений vMotion
  • Хосты ESXi не пингуются или отваливаются по таймауту в 20 секунд.
  • Несоответствие MTU между интерфейсом VMkernel и данным параметром в сети (на коммутаторах или маршрутизаторах).
  • Неправильная конфигурация сети на хостах ESXi.
• Проблемы хранилищ
  • Целевой датастор недоступен или переведен в статус APD (All Paths Down).
  • Таймаут операций ввода-вывода (I/O) составляет 20 секунд или более.
• Операция vMotion прошла успешно, но наблюдаются проблемы с гостевой ОС.
  • Ошибка VM network is not reachable – на уровне layer-2 нет соединения на целевом хосте ESXi.
• Ошибки, связанные с ресурсами.
  • В течение долгого времени хост не может выделить память виртуальной машине.
  • Свопирование идет очень долго, что приводит к вываливанию vMotion по таймауту.

При траблшутинге vMotion, в первую очередь, проверьте, что в вашей инфраструктуре соблюдаются основные требования, приведенные здесь.

С точки зрения логирования процесса vMotion, он устроен следующим образом:

Из картинки видно, что 4 лог-файла можно найти на хосте ESXi и один - на сервере vCenter.

Демоны vCenter Daemon (VPXD), vCenter Agent (VPXA) и Host Daemon (hostd) - это основные службы, которые отвечают за процесс миграции vMotion, и именно там следует начинать искать проблему. Что касается компонентов, отвечающих за реализацию на стороне ВМ - это процесс VMX и службы VMkernel.

Первый шаг траблшутинга - это найти Operation ID (opID) операции vMotion в логах. Этот opID отсылает уже к нужному Migration ID на обоих хостах ESXi.

VPXD-лог на vCenter Server позволит найти opID. Для этого залогиньтесь на VCSA (vCenter Server Appliance) и выполните команду:

grep "relocate" /var/log/vmware/vpxd/vpxd-*.log | grep BEGIN

В выводе команды вы найдете нужный opID:

/var/log/vmware/vpxd/vpxd-214.log:2019-09-24T15:38:10.042Z info vpxd[29243] [Originator@6876 sub=vpxLro opID=jzlgfw8g-11824-auto-94h-h5:70003561-20] [VpxLRO] — BEGIN task-8031 — vm-269 — vim.VirtualMachine.relocate — 52b17681-35d1-998b-da39-de07b7925dda(520681db-25b7-c5d6-44d7-6a056620e043)

Далее, зная opID, вы можете найти Migration ID в hostd-логах на соответствующих хостах ESXi. Делается это следующей командой:

grep jzlgfw8g-11824-auto-94h-h5:70003561-20 /var/log/hostd.log | grep -i migrate

Исходный хост ESXi

2019-09-24T15:38:47.070Z info hostd[2100388] [Originator@6876 sub=Vcsvc.VMotionSrc.3117907752192811422 opID=jzlgfw8g-11824-auto-94h-h5:70003561-20-01-10-e036 user=vpxuser:VSPHERE.LOCAL\Administrator] VMotionEntry: migrateType = 1 2019-09-24T15:38:47.072Z info hostd[2100388] [Originator@6876 sub=Vmsvc.vm:/vmfs/volumes/b86202d8-fb958817-0000-000000000000/NH-DC-02/NH-DC-02.vmx opID=jzlgfw8g-11824-auto-94h-h5:70003561-20-01-10-e036 user=vpxuser:VSPHERE.LOCAL\Administrator] VigorMigrateNotifyCb:: hostlog state changed from success to none

Целевой хост ESXi

2019-09-24T15:38:47.136Z info hostd[2099828] [Originator@6876 sub=Vcsvc.VMotionDst.3117907752192811422 opID=jzlgfw8g-11824-auto-94h-h5:70003561-20-01-2c-3c35 user=vpxuser:VSPHERE.LOCAL\Administrator] VMotionEntry: migrateType = 1

На стороне VMkernel вы можете найти информацию о неудачной миграции следующей командой:

grep VMotion /var/log/vmkernel*

Исходный хост ESXi:

019-09-24T15:38:47.402Z cpu13:46101760)VMotionUtil: 5199: 3117907752192811422 S: Stream connection 1 added.

2019-09-24T15:38:47.445Z cpu8:46092538)XVMotion: 2062: Allocating pool 0.

2019-09-24T15:38:47.445Z cpu8:46092538)XVMotion: 642: Bitmap page: len = 16384, pgLen = 1, bitSet = 3001, bitClear = 13383.

2019-09-24T15:38:47.445Z cpu8:46092538)XVMotion: 642: Bitmap block: len = 131072, pgLen = 4, bitSet = 131072, bitClear = 0.

2019-09-24T15:38:47.445Z cpu8:46092538)VMotion: 8134: 3117907752192811422 S: Requiring explicit resume handshake.

2019-09-24T15:38:47.445Z cpu13:46101760)XVMotion: 3384: 3117907752192811422 S: Starting XVMotion stream.

2019-09-24T15:39:34.622Z cpu14:46101762)VMotion: 5426: 3117907752192811422 S: Disk copy complete, no bandwidth estimate.

2019-09-24T15:39:34.905Z cpu24:46092539)VMotion: 5281: 3117907752192811422 S: Stopping pre-copy: only 37 pages left to send, which can be sent within the switchover time goal of 0.500 seconds (network bandwidth ~185.134 MB/s, 1536000% t2d)

2019-09-24T15:39:34.965Z cpu13:46101760)VMotionSend: 5095: 3117907752192811422 S: Sent all modified pages to destination (network bandwidth ~281.100 MB/s)

2019-09-24T15:39:35.140Z cpu15:46101757)XVMotion: 642: Bitmap page: len = 16384, pgLen = 1, bitSet = 3001, bitClear = 13383.

2019-09-24T15:39:35.140Z cpu15:46101757)XVMotion: 642: Bitmap block: len = 131072, pgLen = 4, bitSet = 131072, bitClear = 0.

Целевой хост ESXi:

2019-09-24T15:38:47.397Z cpu15:2099283)VMotionUtil: 5199: 3117907752192811422 D: Stream connection 1 added.

2019-09-24T15:38:47.440Z cpu3:3543984)XVMotion: 2062: Allocating pool 0.

2019-09-24T15:38:47.440Z cpu3:3543984)XVMotion: 642: Bitmap page: len = 16384, pgLen = 1, bitSet = 3001, bitClear = 13383.

2019-09-24T15:38:47.440Z cpu3:3543984)XVMotion: 642: Bitmap block: len = 131072, pgLen = 4, bitSet = 131072, bitClear = 0.

2019-09-24T15:38:47.440Z cpu3:3543984)VMotion: 8134: 3117907752192811422 D: Requiring explicit resume handshake.

2019-09-24T15:39:34.907Z cpu3:3543984)VMotionRecv: 761: 3117907752192811422 D: Estimated network bandwidth 205.138 MB/s during pre-copy

2019-09-24T15:39:34.960Z cpu3:3543984)VMotionRecv: 2961: 3117907752192811422 D: DONE paging in

2019-09-24T15:39:34.960Z cpu3:3543984)VMotionRecv: 2969: 3117907752192811422 D: Estimated network bandwidth 200.096 MB/s during page-in

2019-09-24T15:39:35.059Z cpu6:3543972)VMotion: 6675: 3117907752192811422 D: Received all changed pages.

2019-09-24T15:39:35.067Z cpu1:3543972)VMotion: 6454: 3117907752192811422 D: Resume handshake successful

2019-09-24T15:39:35.082Z cpu6:3543980)XVMotion: 642: Bitmap page: len = 16384, pgLen = 1, bitSet = 3001, bitClear = 13383.

2019-09-24T15:39:35.082Z cpu6:3543980)XVMotion: 642: Bitmap block: len = 131072, pgLen = 4, bitSet = 131072, bitClear = 0.

В выводе вы можете увидеть такие интересные вещи, как, например, средняя скорость (average bandwidth), которая была получена при передаче данных (см. вывод).

В папке с виртуальной машиной находится файл vmware.log, в котором также можно найти информацию о неудавшемся vMotion с учетом исходного и целевого IP-адресов хостов ESXi:

2019-09-24T15:38:47.280Z| vmx| I125: Received migrate ‘from’ request for mid id 3117907752192811422, src ip <192.168.200.93>.
2019-09-24T15:38:47.280Z| vmx| I125: MigrateSetInfo: state=8 srcIp=<192.168.200.93> dstIp=<192.168.200.91> mid=3117907752192811422 uuid=4c4c4544-004a-4c10-8044-c7c04f4d4e32 priority=high
2019-09-24T15:38:47.282Z| vmx| I125: MigID: 3117907752192811422
2019-09-24T15:39:34.971Z| vmx| I125: Migrate_Open: Restoring from <192.168.200.93> with migration id 3117907752192811422
2019-09-24T15:39:35.023Z| vmx| I125: Migrate_Open: Restoring from <192.168.200.93> with migration id 3117907752192811422

На блогах VMware появилась интересная статья о том, как работает связка кэширующего яруса (Cache tier) с ярусом хранения данных (Capacity tier) на хостах кластера VMware vSAN в контексте производительности. Многие пользователи задаются вопросом - а стоит ли ставить более быстрые устройства на хосты ESXi в Capacity tier и стоит ли увеличивать их объем? Насколько это важно для производительности?

Системы кэширования работают в датацентре на всех уровнях - это сетевые коммутаторы, процессоры серверов и видеокарт, контроллеры хранилищ и т.п. Основная цель кэширования - предоставить высокопроизводительный ярус для приема операций ввода-вывода с высокой интенсивностью и малым временем отклика (это обеспечивают дорогие устройства), после чего сбросить эти операции на постоянное устройство хранения или отправить в нужный канал (для этого используются уже более дешевые устройства).

В кластере vSAN это выглядит вот так:

Второе преимущество двухъярусной архитектуры заключается в возможности манипуляции данными не на лету (чтобы не затормаживать поток чтения-записи), а уже при их сбрасывании на Capacity tier. Например, так работают сервисы компрессии и дедупликации в VMware vSAN - эти процессы происходят уже на уровне яруса хранения, что позволяет виртуальной машине не испытывать просадок производительности на уровне яруса кэширования.

Общая производительность двухъярусной системы зависит как от производительности яруса хранения, так и параметров яруса кэширования (а именно скорость работы и его объем). Ярус кэширования позволяет в течение определенного времени принимать операции ввода-вывода с очень большой интенсивностью, превышающей возможности приема яруса хранения, но по прошествии этого времени буфер очищается, так как требуется время для сброса данных на уровень постоянного хранения.

С точки зрения производительности это можно представить так (слева система с ярусом кэширования и хранения, справа - только с ярусом хранения):

Оказывается, в реальном мире большинство профилей нагрузки выглядят именно как на картинке слева, то есть система принимает большую нагрузку пачками (burst), после чего наступает некоторый перерыв, который устройства кэширования кластера vSAN используют для сброса данных на постоянные диски (drain).

Если вы поставите более производительное устройство кэширования и большего объема, то оно сможет в течение большего времени и быстрее "впитывать" в себя пачки операций ввода-вывода, которые возникают в результате всплесков нагрузки:

Но более быстрое устройство при равном объеме будет "наполняться" быстрее при большом потоке ввода-вывода, что уменьшит время, в течение которого оно сможет обслуживать такие всплески на пиковой скорости (зато во время них не будет проблем производительности). Здесь нужно подбирать устройства кэширования именно под ваш профиль нагрузки.

С точки зрения устройств кэширования и хранения, кластер VMware vSAN представлен дисковыми группами, в каждой из которых есть как минимум одно устройство кэширования и несколько дисков хранения:

Для устройств кэширования на уровне одной дисковой группы установлен лимит в 600 ГБ. Однако это не значит, что нельзя использовать ярус большего объема. Мало того, некоторые пользователи vSAN как раз используют больший объем, так как в этом случае запись происходит во все доступные ячейки SSD (но суммарный объем буфера все равно не превышает лимит), что приводит к меньшему изнашиванию устройств в целом. Например, так происходит в кластере All-flash - там все доступная свободная емкость (но до 600 ГБ) резервируется для кэша.

Надо еще понимать, что если вы поставите очень быстрые устройства кэширования, но небольшого объема - они будут быстро заполняться на пиковой скорости, а потом брать "паузу" на сброс данных на ярус хранения. Таким образом, здесь нужен компромисс между объемом и производительностью кэша.

На базе сказанного выше можно дать следующие рекомендации по оптимизации производительности двухъярусной системы хранения в кластерах VMware vSAN:

• Старайтесь использовать устройства кэширования большего объема, чтобы они могли впитывать большой поток ввода-вывода в течение большего времени. Производительность устройств уже рассматривайте во вторую очередь, только если у вас уж очень большой поток во время всплесков, который нужно обслуживать очень быстро.
• Добавляйте больше дисковых групп, каждую из которых может обслуживать свое устройство кэширования. На уровне дисковой группы установлен лимит в 600 ГБ, но всего на хосте может быть до 3 ТБ буфера, поделенного на 5 дисковых групп.
• Используйте более производительные устройства в ярусе хранения - так сброс данных буфера (destage rate) на них будет происходить быстрее, что приведет к более быстрой готовности оного обслуживать пиковую нагрузку.
• Увеличивайте число устройств хранения в дисковой группе - это увеличит скорость дестейджинга данных на них в параллельном режиме.
• Отслеживайте производительность кластера с помощью vSAN Performance Service, чтобы увидеть моменты, когда ярус кэширования захлебывается по производительности. Это позволит соотнести поведение буфера и профиля нагрузки и принять решения по сайзингу яруса кэширования и яруса хранения.
• Используйте самые последнии версии VMware vSAN. Например, в vSAN 6.7 Update 3 было сделано множество программных оптимизаций производительности, особенно в плане компрессии и дедупликации данных. Всегда имеет смысл быть в курсе, что нового появилось в апдейте и накатывать его своевременно.

На сайте проекта VMware Labs появилась обновленная версия мобильного клиента для управления виртуальной инфраструктурой - VMware vSphere Mobile Client 1.5. Напомним, что о версии 1.3 мобильного клиента мы писали вот тут.

Давайте посмотрим, что нового в vSphere Mobile Client версий 1.4 и 1.5 (кстати, в Changelog версия 1.5 была ошибочно обозначена также как 1.4):

• Теперь поддерживаются прямые соединения к хостам ESXi, а не только через vCenter.
• Хост ESXi можно перевести в режим обслуживания (maintenance mode).
• Новое представление Cluster View, где видны события кластера.
• Появился диалог подтверждения при быстрых операциях с виртуальными машинами.
• Карточка кластера теперь показывает имеющиеся проблемы, статус DRS и HA, а также число событий vMotion.
• Карточка хоста ESXi показывает имеющиеся проблемы, число виртуальных машин, текущий аптайм и статус соединения.
• Выход из деталей ВМ обратно не обновляет страницу.
• Множество исправлений ошибок.

Скачать обновленный vSphere Mobile Client 1.5 можно по этим ссылкам:

• Android (в комбобоксе загрузки просто выберите apk-файл).
• iOS - до того, как ставить это приложение на айфон, нужно скачать приложение для тестировщиков Test Flight.

Также не забудьте посмотреть инструкцию о развертывании Notification Service (он доступен как Docker-контейнер), чтобы включить Push-уведомления на своих устройствах.

Среди множества анонсов конференции VMworld 2019, которая прошла в августе этого года, мы забыли рассказать о новой версии VMware vRealize Network Insight 5.0 (vRNI). Напомним, что это решение позволяет системным и сетевым администраторам (а также администраторам информационной безопасности) наблюдать за сетевым взаимодействием в рамках виртуальной инфраструктуры и предпринимать действия по ее защите.

Напомним, что о прошлой версии VMware vRNI 4.2 мы писали вот тут.

Давайте посмотрим, что нового появилось в vRealize Network Insight пятой версии:

1. Поддержка решения VeloCloud.

Компания VeloCloud не так давно была куплена компанией VMware. VeloCloud производит решение SD-WAN, которое позволяет воплотить принципы Software-Defined Networking в рамках WAN-сетей. Здесь появились 3 основных момента:

• End-to-End мониторинг соединений SD-WAN в облаке и онпремизном датацентре.
• Анализ потока и трафика приложений и бизнес-сервисов, используемых на Edge-площадках.
• Уровень видимости Site/Branch и решение проблем приложений в собственном датацентре и облачной инфраструктуре.

Основное, на чем сфокусирован этот релиз vRNI 5.0 - обеспечение комплексной видимости сетевых потоков датацентров в гибридной и мультиоблачной среде.

2. Поддержка облака Microsoft Azure.

Как некоторые знают, прошлая версия vRNI поддерживала облака VMware Cloud on AWS, включая решение по управлению контейнерами Kubernetes - VMware Enterprise PKS, а также среды контейнеров OpenShift. Теперь же vRNI пятой версии поддерживает и облачные инфраструктуры Microsoft Azure.

Сегодня гибридные Enterprise-инфраструктуры очень часто используют ресурсы облака Azure, поэтому появление такой поддержки со стороны vRNI было вполне ожидаемым. Этот релиз содержит функции для работы с такими сервисами, как Application Discovery, Application Dependency Mapping, Security Recommendations, Network Flow Analysis и прочими, которые доступны в одной консоли с помощью инвентаря Azure.

Единую консоль управления теперь можно использовать как для собственной инфраструктуры (частного облака), так и для приложений в средах VMware Cloud on AWS, Amazon AWS и Microsoft Azure.

Те, кто хочет почитать об окупаемости внедрения решения vRNI, могут почитать вот такой Case Study.

Решение Network Insight Cloud можно попробовать бесплатно как обланый сервис VMware Cloud Service в течение 30 дней по этой ссылке.

Недавно компания VMware обновила свое главное решение для виртуализации и доставки настольных ПК и приложений, выпустив VMware Horizon 7.10. Напомним, что прошлая версия VMware Horizon 7.9 с большими обновлениями вышла в июле этого года. Все уже ждали версии 8.0, но VMware, видимо, не набрала критическую массу фичей для новой мажорной версии.

Давайте посмотрим, что нового в VMware Horizon 7.10:

1. Обновления платформы Horizon 7.10.

Новый апдейт платформы Horizon включает обновление Extended Service Branch update, которое содержит в себе много исправлений ошибок, поддержку новой Windows 10, а также обновления компонентов, необходимых для работы инфраструктуры виртуальных ПК.

Такое обновление уже не выпускалось с версии 7.5, поэтому будет очень кстати сейчас. Напомним, что Extended Service Branch - это параллельный релиз Horizon 7 для тех, кому нужна стабильная версия окружения для своих виртуальных десктопов. Он включает в себя полный пакет продуктов VMware Horizon 7, App Volumes, Dynamic Environment Manager (так теперь называется User Environment Manager) и Unified Access Gateway.

Теперь для пользователей доступен продукт Image Management Service, который позволяет создавать и управлять образами, а также обеспечивать их повторное использование между всеми инсталляциями Horizon в распределенной инфраструктуре (кстати, на видео выше показан процесс его использования).

Теперь в сервисе VMware Skyline появилась функция управления логами, которая позволяет автоматизировать процесс отправки серверных логов в техподдержку VMware через виртуальный модуль Skyline Collector Appliance.

• Функция бэкапа Global Data Layer Backup для конфигураций CPA (Cloud Pod Architecture) - теперь поддерживается возможность резервного копирования и восстановления конфигурации LDAP, что позволяет восстановить CPA-конфигурацию в случае сбоя.
• REST APIs – теперь можно писать функции автоматизации или интегрировать сторонние продукты для административных задач или мониторинга.
• Поддержка RTX GPU – теперь поддерживается еще больше GPUs на базе архитектуры Turing для тяжелых (графических и вычислительных) нагрузок, а также протокол Blast Extreme H.265 и H.264.
• Instant Clones теперь поддерживают IPv6. Кроме того сценарии cleanup scripts для мгновенных клонов стали более user-friendly.

2. Обновления Horizon 7 Administrator и Horizon Console

Различий между новым HTML5 интерфейсом Horizon Console и старой консолью Horizon 7 Administrator продолжает становиться все меньше и меньше. В этом релизе были добавлены еще новые функции в HTML5-консоль, поэтому теперь в старом интерфейсе уникальной функциональностью осталось только управление приложениями ThinApp и работа с ролью Security Server.

Начиная с этой версии, кстати, VMware будет добавлять новые возможности только в Horizon Console. Поэтому тут появились такие новые фичи, как назначения для механизма JMP, обновленные иконки Hosted App, статус мгновенных клонов для хостов RDSH и другие. Также на новом дэшборде можно увидеть статус сервисов и сессий Horizon, а также их состояние. Больше подробностей вы можете увидеть в видео выше.

3. Новые возможности Horizon Agents.

Теперь для агентов Windows и Linux доступны возможности улучшенного использования CPU для протокола Blast. Агент Horizon Agent теперь автоматически устанавливает роль RDS на серверную ОС, а также предоставляет поддержку ОС Windows 10 1909 и Red Hat 8.

Horizon Agent теперь поддерживает функцию Browser Content Redirection, которая перехватывает все содержимое активного окна браузера виртуального десктопа и перенаправляет его в браузер клиентской машины.

Это позволяет сбалансировать нагрузку на серверную инфраструктуру и не зависеть от контента, с которым работают в браузерах пользователи виртуальных ПК.

4. Обновления Horizon GPO Bundle.

Здесь появилось много разных настроек, давайте их рассмотрим:

• Файл шаблона VMware Horizon Client Drive Redirection ADMX (vdm_agent_cdr.admx) содержит следюущие новые настройки:
  • Настройка режима маппинга диска в гостевую ОС.
  • Настройка буквы диска при маппинге.
• Файл шаблона VMware View Agent Configuration ADMX (vdm_agent.admx) содержит следюущие новые настройки:
  • Disconnect Session Time Limit (VDI).
  • Включение режима automatic fallback после нарушения правила вайтлиста.
  • Включение Navigation URL list для VMware Browser Redirection
  • Включение VMware Browser Redirection
  • Включение списка URL list для VMware Browser Redirection
  • Idle Time Until Disconnect (VDI)
  • Показ страницы с информацией об ошибке перед началом automatic fallback.
• Файл шаблона Scanner Redirection ADMX (vdm_agent_scanner.admx) содержит следюущие новые настройки:
  • Принудительный показ диалога TWAIN Scanning Properties.
  • Размещение диалога TWAIN Scanner Properties.
• Файл шаблона VMware Horizon Client Configuration ADMX (vdm_client.admx) содержит следюущие новые настройки:
  • Позволить соединениям Blast использовать настройки прокси операционной системы.
  • Автоматическая синхронизация блока клавиш скролла и caps lock.
  • Включить кэш для функции browser redirection.
  • Включить WebRTC камеру и микрофон для функции browser redirection.
  • Горячие клавиши для получения и отдачи фокуса ввода.
  • Игнорирование ошибок сертификатов для функции browser redirection.

Помимо этого, много всего нового появилось в клиентах VMware Horizon Client версии 5.2, а также продуктах Dynamic Environment Manager 9.9 и App Volumes 2.18, но об этом мы расскажем завтра.

VMware Horizon 7.10 уже доступен для скачивания по этой ссылке.

Продолжаем рассказывать о новостях с конференции VMworld 2019. Еще одним небольшим, но важным анонсом стала публичная доступность облачного решения VMware Cloud on Dell EMC.

Работа над этим решением велась еще в 2018 году. Тогда был такой проект Dimension, представленный на VMworld 2018 в США. Он представлял собой специальный сервис VMware по поставке, развертыванию, обслуживанию и сопровождению виртуальных датацентров.

Спустя больше года доработки с момента выпуска бета-версии, он превратился в VMware Cloud on Dell EMC. Это программно-аппаратная платформа на базе оборудования Dell EMC, которая позволяет построить полностью готовое корпоративное облако в очень насыщенной программной и мощной аппаратной конфигурации:

Архитектура R1, как мы видим из картинки, содержит в себе все необходимое для поддержания виртуальной инфраструктуры, к данной стойке нужно лишь подвести питание и сетевые соединения. Эта архитектура строится на базе серверов G1 в рамках технологии VxRail, которые имеют следующую конфигурацию:

• Dell EMC VxRail G1 E560F
• Intel Cascade Lake, 20 cores @ 2.5GHz
• 192 GB RAM
• 52 TB сырого хранилища

Со временем Dell EMC (а как вы помните, это родительская компания VMware) будет расширять доступный выбор вариантов комплектаций стоек.

В целом, архитектура VMware Cloud on Dell EMC дает следующие преимущества для клиентов:

• Если у вас есть потребность в небольшой инфраструктуре, которую никто не обслуживает на постоянной основе, то это - отличный вариант, так как по всем программным и аппаратным вопросам единой точкой входа будут компании EMC/VMware, специалисты которых будут решать все возникающие проблемы с железом и софтом в рамках одного контракта.
• Все ресурсы инфраструктуры в географически распределенных датацентрах будут объединяться и управляться из одной консоли VMware Cloud Console.

• Поскольку такая инфраструктура сертифицирована и полностью находится на сопровождении VMware, администраторы датацентров могут сосредоточиться на более высокоуровневых задачах.
• Возможность получить облако аналогичное VMware vCloud on AWS, но без необходимости перемещать свои данные и рабочие нагрузки в облако ввиду ограничений политик безопасности.

Больше о решении можно узнать из следующих сессий VMworld 2019:

• Spotlight Keynote (EIOT2750BU) – Extend your hybrid cloud strategy to the Edge
• Business 100 (HBI2748BU) – Driving business benefits through Hybrid cloud IT outcomes
• Business 100 (HCI2560BU) – A new model for IaaS: shifting SLAs to VMware with VMware Cloud on Dell EMC
• Business 100 (HBI2293BU) – Build a killer application with VMC on Dell EMC
• Technical 100 (HBI1428BU) – VMC on Dell EMC technical overview
• Business 100 (HBI2367BU) – Empower the future of modern application with VMC on Dell EMC with a beta customer joining the discussion
• Technical 200 (HBI1975BU) – VMC on Dell EMC technical deep dive
• Technical 200 (HBI1980BU) – Customer experience, architectures, service benefits

Главная страница платформы VMware Cloud on Dell EMC находится вот тут.

Это гостевой пост сервис-провайдера ИТ-ГРАД, предоставляющего в аренду виртуальные машины из облака. Вы наверняка много раз видели эпические фотографии из ЦОД-ов, в которых за горизонт уходят стойки забитые серверами, установлены мощные генераторы и системы кондиционирования. Многие любят хвастаться такими кадрами, но меня всегда интересовало, а как операторы ЦОД-ов выбирают и настраивают своё оборудование?
Таги: IT-Grad, IaaS, Datacenter, Enterprise, Cloud

Анонсы VMworld 2019 - часть 11. Что нового в VMware vCloud Foundation: версия для сервис-провайдеров и обновленная платформа 3.8.1.

Продолжаем рассказывать об анонсах продуктов и технологий, представленных на конференции VMworld 2019, так как есть о чем еще говорить. Одним из главных анонсов для сервис-провайдеров на мероприятии стала доступность платформы VMware Cloud Foundation for Cloud Providers.

Напомним, что vCloud Foundation (VCF) - это комплексное программное решение, которое включает в себя компоненты VMware vRealize Suite, VMware vSphere Integrated Containers, VMware Integrated OpenStack, VMware Horizon, NSX и другие, работающие в онпремизной, облачной или гибридной инфраструктуре предприятия, которые желательно развертывать все вместе, но можно какие-то и опустить. Важно, что в рамках этой архитектуры полностью поддерживается взаимодействие всех компонентов друг с другом, поэтому для VCF есть список продуктов и их версий (и это могут быть не самые последние версии), который и составляет архитектуру VCF. Напомним, что о версии VCF 3.0 мы писали вот тут.

Представленная архитектура VCF для сервис-провайдеров (VCPP) позиционируется как главный продукт для построения выделенных облачных инфраструктур для крупных клиентов (Dedicated Private Clouds). Решение комбинирует в себе возможности платформ VMware Software-Defined (vSphere и прочие продукты) и решения для миграции в виртуальную среду HCX. Облачная платформа VCF поставляется в трех изданиях, в зависимости от изданий входящих в него продуктов (подробнее об этом тут):

VMware Cloud Foundation соединяет в себе портфолио SDDC (vSphere, NSX, vSAN), а также средства управления SDDC Manager, что позволяет создать валидированную архитектуру на стороне сервис-провайдера и обеспечить управление жизненным циклом всех компонентов, чтобы облачные провайдеры могли запускать апгрейд всей инфраструктуры в один клик.

Кстати, решение VCF можно потестировать вживую в рамках лабораторной работы Hands-on Lab.

Онбординг пользователей в облачную среду провайдеров VCPP помогает производить решение VMware HCX, которое обеспечивает процесс миграции физических ресурсов предприятия в облачную среду на базе виртуальных машин в облаке:

Надо сказать, что решение VCF может работать поверх гибридной инфраструктуры предприятия - просто в облаке сервис-провайдера появляется еще один объединяющий элемент. Для традиционных хостинг-провайдеров, которые предоставляют услуги Shared Hosting / Virtual Private Servers, решение VCF для VCPP позволит получить крупных заказчиков, при этом оно изначально заточено под выделенную инфраструктуру со множеством клиентов.

Для старта с решением VMware Cloud Foundation for Cloud Providers партнерам потребуется пройти специальное обучение в течение 1 недели.

Вторым важным анонсом стал выпуск архитектуры vCloud Foundation версии 3.8.1. Надо сказать, что этот релиз сфокусирован на инфраструктуре контейнеризованных приложений под управлением Kubernetes. Такая инфраструктура управляется совершенно иначе, по сравнению с традиционной платформой для виртуальных машин, поэтому целью было объединить рабочие процессы PKS (Pivotal Container Service) и VCF.

В этом релизе у VCF 3.8.1 появились следующие новые возможности:

• Автоматизация развертывания решения PKS - теперь можно автоматически разместить нагрузку VMware Enterprise PKS в домене рабочей нагрузки NSX-T.

Средства интеграции VCF и PKS построены таким образом, что администраторам облака не требуется никаких специальных знаний в области Kubernetes, чтобы управлять интегрированной инфраструктурой контейнеров и виртуальных машин. Подробнее об этом рассказано тут.

• Поддержка двухфакторной аутентификации - теперь она доступна для API на базе паролей в консоли SDDC Manager.
• Улучшенные возможности Phone Home - предоставляет возможность провайдеру организовать функции phone home для данных в SDDC Manager одним кликом.
• Обновленные списки версий ПО (Bill of materials, BOM) - включают в себя vSphere 6.7 Update 3, vSAN 6.7 U3, новые версии Horizon, NSX-T и vRealize.

• Улучшения безопасности и исправления ошибок.

Более подробно о новых возможностях VCF можно узнать из Release Notes.

Конференция VMworld 2019 уже заканчивается, а мы продолжаем публиковать главные новости о виртуализации этого года. Один из важных анонсов - это объявление о выпуске новых версий VMware Workstation 15.5 и Fusion 11.5, которые выйдут уже в сентябре. Напомним, что прошлые версии Workstation 15 и Fusion 11 вышли год назад.

Давайте посмотрим, что нового появилось в Workstation 15.5 и Fusion 11.5.

Общие нововведения для обеих платформ:

• Улучшения Jumbo Frames - теперь можно настраивать размер MTU-пакета для виртуальных сетей (доступно только в Pro-версиях платформ).
• Поддержка нового устройства pvscsi - теперь виртуальные машины полностью совместимы с платформой vSphere в этом плане.
• Поддержка новых ОС - Windows 10 19H2, Ubuntu 1910, Debian 10.0 и RHEL 7.7.
• Поддержка локальных кластеров Kubernetes - теперь это можно сделать через minikube и docker-machine-driver-vmware.
• Улучшения производительности и фиксы подсистемы безопасности.

Нововведения VMware Worlstation 15.5:

• Сохранение сетевой конфигурации - при апгрейде Workstation на новую версию у вас сохраняются все кастомные сетевые настройки.
• Экспорт сложной сетевой конфигурации - теперь это можно сделать через обычный текстовый файл.
• Быстрые клавиши для конфигурации с несколькими мониторами - теперь с помощью комбинации ctrl+shift+m можно быстро выбрать приоритет показа виртуальных дисплеев.

Нововведения VMware Fusion 11.5:

• Поддержка macOS 10.15 Catalina - эта ОС поддерживается и как хостовая, и как гостевая.
• Режимы Dark Mode и Dark Mode Sync - теперь Fusion переключается в ночной режим, когда Mac OS 10.14+ также переключается в него, эту настройку можно синхронизировать и с Windows 10.
• Sidecar (требует хост Catalina) - можно использовать Windows на вашем iPad c аппаратной клавиатурой и поддержкой Apple Pencil.

Ну и одна из главных новостей в тему - это сотрудничество VMware и Microsoft в плане поддержки VMware Workstation на серверах Hyper-V. Ранее это было невозможно ввиду наличия функций расширенной безопасности в платформе Hyper-V:

Теперь же платформа VMware Workstation будет работать на серверах с ролью Hyper-V благодаря сотрудничеству VMware и Microsoft. Пока ВМ на платформе Workstation на хосте Hyper-V работают медленно, но в следующем году обещают, что все будет близко к нативной производительности.

Официальный выпуск VMware Workstation 15.5 и Fusion 11.5 состоится в сентябре этого года.

Многие из вас следят за новостями и событиями конференции VMworld 2019, которая проходит в эти дни в Сан-Франциско. Одним из первых и важных анонсов конференции стало объявление о скором выпуске проекта VMware Tanzu. Те из вас, кто следит в последнее время за новыми релизами от VMware, знают, что компания выпускает очень много чего интересного для инфраструктуры контейнеризованных приложений Kubernetes.

Например, совсем недавно мы писали о новой подсистеме хранения для K8s - Cloud Native Storage (CNS), утилите для контроля и мониторинга состояния кластеров VMware Octant, а также средстве для управления инфраструктурой контейнеров приложений VMware Enterprise PKS 1.5 (Pivotal Container Service).

На данный момент свежепоявившееся семейство Tanzu представлено двумя продуктами:

• Project Pacific — набор средств для преобразования среды VMware vSphere в нативную платформу для кластеров Kubernetes (будет доступно в следующих релизах vSphere).
• VMware Tanzu Mission Control - единая операционная консоль для кластеров Kubernetes, которая позволит контролировать все аспекты жизненного цикла приложений.

Project Pacific

Project Pacific сейчас находится в статусе технологического превью. Это средство представляет собой набор инструментов, который позволяет преобразовать платформу vSphere в средство нативного исполнения приложений в среде Kubernetes.

Данный продукт будет решать следующие задачи:

• Использование vSphere для нативной среды Kubernetes
• Предоставление средств управления, сфокусированных на приложениях
• Возможность взаимодействия команд разработки и администрирования/оперирования

С помощью Pacific разработчики продолжат управлять приложениями посредством Kubernetes, но сами приложения за счет этого будут "комфортно себя чувствовать" на платформе ESXi. Администраторы же смогут выполнять рутинные задачи через средства управления VMware vCenter.

Так как подразумевается, что Kubernetes будет нативно работать в среде vSphere, то будет поддерживаться концепция пространств имен в рамках инфраструктуры vSphere. Пространства имен в K8s - это коллекции объектов (контейнеры, виртуальные машины, диски и т.п.).

На уровне пространств имен в среде K8s можно выполнять стандартные для vSphere операции, такие как контроль и выделение ресурсов, vMotion, шифрование, HA и снапшоты.

VMware Tanzu Mission Control

Tanzu MC дает менеджерам и администраторам датацентров средства для создания и развертывания новых приложений на платформе Kubernetes, а также дает управлять кластерами K8s из единой точки. Таким образом, команды разработки могут запросить нужные ресурсы, когда им требуется, и получить их самым быстрым и оптимальным образом.

Платформа Tanzu Mission Control полностью построена на базе универсального API, который могут использовать разработчики для оперирования кластерами Kubernetes через Cluster API. Это касается всех рабочих процессов (например, создание или обновление кластера), а также аутентификации и прочих вспомогательных сервисов.

Сама консоль - это SaaS-решение, которое объединяет объекты разной природы в облачной консоли (например, это могут быть компоненты платформы vSphere, объекты из публичных облаков, средства OpenShift или просто самопальные инсталляции собственной архитектуры). Также вы можете привязать кластер VMware Essential PKS к консоли Tanzu Mission Control и использовать средства автоматизации обслуживания жизненного цикла кластеров, либо можно открыть и использовать расширенные средства сервисов PKS-кластера.

Консоль Mission Control использует:

• Cluster API для управления жизненным циклом (Lifecycle Management)
• Velero для резервного копирования и восстановления
• Sonobuoy для контроля конфигураций
• Contour для контроля компонентов ingress

Также все кластеры и их объекты покрываются гибко настраиваемыми политиками. Их можно применять к кластерам и группам кластеров, разграничивая таким образом зоны ответственности между разработчиками.

Ну и одно из самых удобных для оператора - это федерация данных кластеров K8s из разных источников в единой консоли:

Более подробно о проекте Tanzu можно почитать в пресс-релизе VMware.

Пока мы готовим большие посты об анонсах проходящего в эти дни в Сан-Франциско VMworld 2019, расскажем о небольших обновлениях. На сайте проекта VMware Labs появился апдейт средства для управления инфраструктурой VMware vSphere с мобильного телефона - vSphere Mobile Client 1.3. Напомним, что о прошлой версии клиента Mobile Client 1.2 мы писали вот тут. Надо заметить, что обновляется он хорошими темпами.

Давайте посмотрим, что нового добавили в Mobile Client 1.3:

• Наконец-то появилось представление уровня хостов - Hosts View.
• Дэшборд vCenter теперь включает объекты с наибольшим числом сработавших алертов.
• Для iOS-клиента появилась функция сообщения о вылетах приложения (Crash reporting).
• Категории событий теперь видны в интерфейсе (что это - alarm, error или warning).
• Улучшена обработка получения имени сервера vCenter.

Скачать обновленный vSphere Mobile Client 1.3 можно по этим ссылкам:

• Android - до того, как устанавливать клиент, вам надо присоединиться к этой группе Google Groups, члены которой принимают участие в альфа-тестировании.
• iOS - до того, как ставить это приложение на айфон, нужно скачать приложение для тестировщиков Test Flight.

Чтобы получать пуш-уведомления на ваши устройства, нужно будет поднять vSphere Mobile Client Notification Service в виде контейнера Docker. О том, как это сделать написано тут, а скачать сам контейнер можно на странице vSphere Mobile Client.

Год назад компания StarWind Software анонсировала собственный таргет и инициатор NVMe-oF для Hyper-V, с помощью которых можно организовать высокопроизводительный доступ к хранилищам на базе дисков NVMe (подключенных через шину PCI Express) из виртуальных машин. За прошедший год StarWind достаточно сильно улучшила и оптимизировала этот продукт и представила публично результаты его тестирования.

Для проведения теста в StarWind собрали стенд из 12 программно-апаратных модулей (Hyperconverged Appliances, HCA) на базе оборудования Intel, Mellanox и SuperMicro, составляющий высокопроизводительный вычислительный кластер и кластер хранилищ, где подсистема хранения реализована с помощью продукта Virtual SAN, а доступ к дискам происходит средствами инициатора NVMe-oF от StarWind. Между хостами был настроен 100 Гбит Ethernet, а диски SSD были на базе технологии NVMe (P4800X). Более подробно о конфигурации и сценарии тестирования с технологией NVMe-oF написано тут.

Аппаратная спецификация кластера выглядела так:

• Platform: Supermicro SuperServer 2029UZ-TR4+
• CPU: 2x Intel® Xeon® Platinum 8268 Processor 2.90 GHz. Intel® Turbo Boost ON, Intel® Hyper-Threading ON
• RAM: 96GB
• Boot Storage: 2x Intel® SSD D3-S4510 Series (240GB, M.2 80mm SATA 6Gb/s, 3D2, TLC)
• Storage Capacity: 2x Intel® Optane™ SSD DC P4800X Series (375GB, 1/2 Height PCIe x4, 3D XPoint™). The latest available firmware installed.
• RAW capacity: 9TB 
• Usable capacity: 8.38TB 
• Working set capacity: 4.08TB 
• Networking: 2x Mellanox ConnectX-5 MCX516A-CCAT 100GbE Dual-Port NIC
• Switch: 2x Mellanox SN2700 32 Spectrum ports 100GbE Ethernet Switch

Схема соединений тестового стенда:

Для оптимизации потока ввода-вывода и балансировки с точки зрения CPU использовался StarWind iSCSI Accelerator, для уменьшения latency применялся StarWind Loopback Accelerator (часть решения Virtual SAN), для синхронизации данных и метаданных - StarWind iSER initiator.

Как итог, ввод-вывод оптимизировался такими технологиями, как RDMA, DMA in loopback и TCP Acceleration.

С точки зрения размещения узлов NUMA было также сделано немало оптимизаций (кликните для увеличения):

Более подробно о механике самого теста, а также программных и аппаратных компонентах и технологиях, рассказано здесь. Сначала тест проводился на чистом HCA-кластере без кэширования.

Результаты для 4К Random reads были такими - 6,709,997 IOPS при теоретически достижимом значении 13,200,000 IOPS (подробнее вот в этом видео).

Далее результаты по IOPS были следующими:

• 90% random reads и 10% writes = 5,139,741 IOPS
• 70% random reads и 30% writes = 3,434,870 IOPS

Полная табличка выглядит так:

Потом на каждом хосте Hyper-V установили еще по 2 диска Optane NVMe SSD и запустили 100% random reads, что дало еще большую пропускную способность - 108.38 GBps (это 96% от теоретической в 112.5 GBps.

Для 100% sequential 2M block writes получили 100.29 GBps.

Полные результаты с учетом добавления двух дисков:

А потом на этой же конфигурации включили Write-Back cache на уровне дисков Intel Optane NVMe SSD для каждой из ВМ и для 100% reads получили 26,834,060 IOPS.

Полная таблица результатов со включенным кэшированием выглядит так:

Да-да, 26.8 миллионов IOPS в кластере из 12 хостов - это уже реальность (10 лет назад выжимали что-то около 1-2 миллионов в подобных тестах). Это, кстати, 101.5% от теоретического максимального значения в 26.4М IOPS (12 хостов, в каждом из которых 4 диска по 550 тысяч IOPS).

Для тестов, когда хранилища были презентованы посредством технологии NVMe-oF (Linux SPDK NVMe-oF Target + StarWind NVMe-oF Initiator), было получено значение 22,239,158 IOPS для 100% reads (что составляет 84% от теоретически расчетной производительности 26,400,000 IOPS). Более подробно об этом тестировании рассказано в отдельной статье.

Полные результаты этого теста:

Все остальное можно посмотреть на этой странице компании StarWind, которая ведет учет результатов. Зал славы сейчас выглядит так :)

Как вы знаете, недавно обновленная платформа виртуализации VMware vSphere 6.7 Update 3 стала доступной для загрузки. Одновременно с этим компания VMware сделала доступной для скачивания и развертывания систему отказоустойчивых кластеров хранилищ VMware vSAN 6.7 Update 3. В обоих этих решениях появилась встроенная поддержка технологии Cloud Native Storage (CNS), о которой мы сегодня расскажем.

Итак, Cloud Native Storage (CNS) - это функциональность VMware vSphere и платформы оркестрации Kubernetes (K8s), которая позволяет по запросу развертывать и обслуживать хранилища для виртуальных машин, содержащих внутри себя контейнеры. По-сути, это платформа для управления жизненным циклом хранения для контейнеризованных приложений.

При этом для такого управления сделано специальное представление в интерфейсе vCenter, которое вы видите на картинке выше.

Основная задача CNS - это обеспечивать развертывание, мониторинг и управление хранилищами для Cloud Native Applications (CNA), то есть современных приложений, исполняемых в контейнерах Docker под управлением Kubernetes (но, кстати, в будущем возможна поддержка и таких платформ, как Mesos и Docker Swarm).

Архитектура CNS реализована двумя компонентами:

• Интерфейс Container Storage Interface (CSI), представляющий собой плагин для K8s.
• Консоль управления CNS Control Plane на сервере vCenter, доступная через vSphere Client.

Через консоль управления CNS администратор может получить представление об имеющихся хранилищах в среде K8s (и видеть маппинги хранилищ на виртуальные диски VMDK), а также управлять ими в большом масштабе, что очень сложно при оперировании на уровне отдельных контейнеров, так как их могут быть сотни на одном хосте ESXi.

Кстати, про оперирование CNS есть интересное видео от VMware:

Надо понимать, что технология CNS появилась не впервые. Ранее подобные функции реализовывал механизм vSphere Storage for Kubernetes (он же vSphere Cloud Provider, VCP). Проект VCP появился как результат внутреннего хакатона VMware, когда требовалось быстро сделать драйвер для кластеров Kubernetes.

До этого приходилось вручную монтировать хранилища контейнеров на виртуальные диски VMDK, что было крайне неудобно, а при большом количестве контейнеров - практически нереально.

Сейчас архитектура VCP реализуется такими решениями Kubernetes as a Service (KaaS), как VMware PKS, RedHat OpenShift, Google Cloud Anthos и Rancher. Для этой архитектуры было возможно 2 режима развертывания - "in-tree" и "out-of-tree". В первом случае VCP был интегрирован в дистрибутив Kubernetes и развертывался одновременно с ним, а во втором - подразумевал последующую интеграцию после развертывания K8s.

Ввиду того, что обновлять VCP при первом варианте развертывания можно было только одновременно с K8s, вариант "in-tree" был исключен из конфигурации развертывания Kubernetes. VMware использовала эту ситуацию для того, чтобы полностью переписать код VCP (который, скорее всего, был не самым оптимальным еще с хакатона) и получить новую архитектуру - CNS.

Также кстати оказалась и покупка компании Heptio (об этом мы упоминали вот тут) - в итоге VMware интегрировала решение CNS прямо в платформу vSphere, без необходимости что-либо развертывать дополнительно. Мало того, архитектура CNS поддерживает любой оркестратор контейнеров, построенный на базе спецификации CSI.

Таким образом, CNS Control Plane на сервере vCenter брокеризует соединение с плагином (на данный момент только для K8s), который уже взаимодействует на уровне Kubernetes.

Частью решения CNS являются First Class Disks (FCDs), о которых мы рассказывали вот тут. Они были придуманы для того, чтобы управлять сервисами, заключенными в VMDK-диски, но не требующими виртуальных машин для своего постоянного существования. Это очень удобно для контейнеров, так как их можно динамически привязывать и отвязывать, не оставляя после себя "осиротевших" VMDK.

Кроме всего этого, CNS полностью подчиняется политикам Storage Policy-Based Management (SPBM), а это значит, что инфраструктура таких хранилищ отлично согласуется с пространством ярусного хранения VMware vSAN и концепцией K8s StorageClass. Также CNS, конечно же, работает и с классическими хранилищами VMFS и NFS, что позволяет использовать политики SPBM на базе тэгов.

Надо отметить, что технология CNS доступна для всех пользователей VMware vSphere, начиная с издания Standard, поэтому платить отдельно за нее не придется. Ну и в заключение обзорное видео о том, что такое и как работает Cloud Native Storage:

Скачать VMware vSphere 6.7 Update 3 с интегрированной технологией CNS можно по этой ссылке.

Перед предстоящей конференцией VMworld 2019, которая состоится на следующей неделе в Сан-Франциско, компания VMware сделала несколько небольших анонсов, чтобы они не потерялись на фоне больших. В частности, стала доступной для скачивания новая версия платформы VMware vSphere 6.7 Update 3, решение VMware vSAN 6.7 Update 3 и продукт VMware PKS 1.5. Ну а на днях было выпущено еще одно обновление фреймворка для управления виртуальной инфраструктурой через PowerShell - VMware PowerCLI 11.4.

Напомним, что о прошлой версии PowerCLI 11.3 мы писали в начале лета вот тут. Давайте посмотрим, что нового появилось в PowerCLI 11.4:

1. Поддержка решения Horizon View 7.9.

Модуль для работы с Horizon View (VMware.VimAutomation.HorizonView) был обновлен, чтобы поддерживать новые возможности решения VMware Horizon 7.9.

2. Обновленный модуль Storage.

В PowerCLI 11.4 был существенно доработан модуль по работе с хранилищами, чтобы поддерживать последнюю версию продукта для создания отказоустойчивых кластеров хранилищ VMware vSAN 6.7 Update 3. Например, были обновлены командлеты Get/Set-VsanClusterConfiguration, которые теперь поддерживают функции Proactive Rebalance и vSphere Update Manager baseline preference.

Вот пример работы с этими функциями в действии (на красный текст внимание не обращайте, он говорит о том, что для работы нужен vSAN 6.7 U3):

Также появилось три новых командлета. Первый - это Add-VsanObjectToRepairQueue, он может восстанавливать объекты, которые добавляются в очередь на восстановление (ранее эта функция была частично доступна в командлете Repair-VsanObject). Второй и третий - это Get-VsanResyncingOverview и Get-VsanEnterMaintenanceMode, они работают с новыми функциями vSAN 6.7 U3.

3. Обновленный модуль HCX.

Теперь в этот модуль было добавлено целых 6 новых командлетов:

• Get-HCXAppliance - возвращает информацию о текущей версии виртуального модуля и доступных версиях.
• Его можно использовать с командлетом New-HCXAppliance - он позволяет проапгрейдить виртуальный модуль на одну из доступных версий.
• Get-HCXContainer - добавляет возможность вывести список контейнеров типа "OrgVdc".
• Get-HCXNetwork - добавляет возможность посмотреть 2 типа сетей: NsxtSegment и OrgVdcNetwork.
• New-HCXNetworkExtension - дает возможность работать с сетями типа NsxtSegment.
• Get-HCXServiceMesh - он имеет свойства, которые дают посмотреть параметры некоторых сервисов.

Пример использования командлетов Get-HCXAppliance и Get-HCXServiceMesh для просмотра нового свойства ServiceStatus:

Командлеты Get-HCXServiceMesh и Get-HCXInterconnectStatus были существенно доработаны, чтобы уметь исправлять ситуацию при различных ошибках. Также свойство DestinationNetworkValue теперь отображается корректно.

Как обычно, обновление модулей PowerCLI происходит командой:

Update-Module -Name VMware.PowerCLI

Больше информации об нововведениях PowerCLI 11.4 приведено в Change Log. Также рекомендуем почитать VMware PowerCLI 11.4.0 User’s Guide. Главный документ с примерами - VMware PowerCLI 11.4.0 Cmdlet Reference.

Это гостевой пост нашего спонсора - облачного провайдера ИТ-ГРАД, предоставляющего услугу аренды виртуальных машин из облака. Говорим о балансировщике нагрузки от инженеров MIT, который планируют использовать в ЦОД. В статье — о принципах работы и возможностях решения.

Цель разработки

Аналитики одного из крупных облачных провайдеров говорят, что мировые ЦОД используют треть имеющихся у них вычислительных ресурсов. В исключительных случаях этот показатель может вырастать до 60%. Из-за неэффективного расходования мощностей в машинных залах появляются так называемые серверы-зомби. Они не выполняют полезную работу (находятся в состоянии «комы») и лишь впустую расходуют электричество. По данным Uptime Institute, без работы стоит около 10 млн серверов (это 30% всех машин). На поддержание их работоспособности ежегодно уходит 30 млрд долларов.

Инженеры из Массачусетского технологического института (MIT) решили исправить ситуацию. Они разработали балансировщик нагрузки, который в теории повысит эффективность использования ресурсов процессоров до 100%. Система получила название Shenango.

Как работает балансировщик

Shenango — это Linux-библиотека на языке программирования C (есть биндинги на Rust и C++). Она мониторит буфер задач CPU и распределяет процессы между свободными ядрами.

В основе системы лежит алгоритм IOKernel. Он запускается на отдельном ядре процессора и управляет запросами к CPU, которые поступают по сетевому интерфейсу NIC. Для этих целей IOKernel использует фреймворк DPDK (Data Plane Development Kit). Фреймворк дает приложениям возможность «общаться» с сетевыми картами напрямую.

Когда процессору поступает новая задача, IOKernel самостоятельно выбирает, какому ядру (или ядрам) ее передать. При этом для каждого процесса выделяются основные ядра (guaranteed) и вспомогательные (burstable) — последние подключаются только в том случае, если количество запросов резко возрастает.

Алгоритм проверяет буфер задач с интервалом в 5 мкс. Он ищет «застрявшие» процессы, которые CPU уже долгое время не может обработать. Если таковые обнаруживаются, они сразу же назначаются свободным ядрам (или другим серверам в дата-центре). Приоритет отдается ядрам, на которых уже выполнялся аналогичный процесс и часть информации о котором осталась в кэше.

Чтобы повысить эффективность балансировки, Shenango также использует метод work stealing. Ядра, работающие с одним приложением, автоматически снимают друг с друга часть нагрузки, если выполняют свои задачи раньше остальных.

Общую схему работы алгоритма IOKernel и системы Shenango можно представить следующим образом:

Код проекта и примеры приложений вы можете найти в официальном репозитории на GitHub.

Возможности

Разработчики говорят, что Shenango способен обрабатывать 5 млн запросов в секунду. Среднее время реакции при этом составляет 37 мкс. Эксперты ИТ-индустрии отмечают, что система поможет оптимизировать работу веб-приложений, например онлайн-магазинов. По статистике, секундная задержка при загрузке страницы снижает количество просмотров на 11%, что в дни распродаж может быть критично. Эффективное распределение нагрузки поможет обслужить большее количество клиентов.

Сейчас инженеры из MIT работают над устранением недостатков и расширением функциональности своего решения. Пока что Shenango не умеет работать с многопроцессорными NUMA-системами. В них чипы подключены к различным модулям памяти и не могут взаимодействовать друг с другом напрямую. Такой подход усложняет распределение нагрузки: IOKernel может контролировать работу отдельного кластера процессоров, но не все устройства сервера.

Кто еще разрабатывает балансировщики нагрузки на CPU

Не только в MIT занимаются разработкой систем распределения нагрузки на процессоры. В качестве еще одного примера можно привести систему Arachne — это библиотека C++ для Linux (код есть на GitHub, документацию по API можно найти на официальном сайте). Arachne рассчитывает, сколько ядер понадобится конкретному приложению, и выделяет необходимое количество при запуске соответствующего процесса.

Еще одним примером балансировщика может служить ZygOS — специализированная операционная система, которая использует структуры данных с общей памятью, NIC с несколькими очередями и межпроцессорные прерывания для распределения нагрузки между ядрами. Как и Shenango (в отличие от Arachne), решение также использует подход work stealing. Код проекта можно найти на GitHub.

Оригинал статьи в блоге ИТ-ГРАД.

Как многие из вас знают, с 25 по 29 августа в Сан-Франциско пройдет главная конференция года в области виртуализации - VMworld 2019. На конференции будут представлены сотни докладов, практических семинаров и лабораторных работ, поэтому планировать свое время нужно заранее.

Напомним, что конференцию можно посетить не только лично, но и посмотреть онлайн. Чтобы найти подходящую вам сессию, нужно воспользоваться вот этим порталом поиска. На данный момент там представлено 1032 материала:

Кстати, не забывайте и об онлайн-библиотеке материалов VMworld 2018.

Ну а для тех, кому лень искать по всем этим сотням докладов, блоггер Дункан Эппинг выпустил свой список топ-25 сессий, который мы приведем ниже:

• 60 Minutes of Non-Uniform Memory Architecture [HBI2278BU] от Frank Denneman - все самое главное об архитектуре NUMA на платформе vSphere.
• A Practitioner’s Guide to vCenter Server Architecture [HBI2227BU] от Emad Younis и Sandeep Byreddy - больше подробностей об архитектуре vCenter.
• HCI Management: Current and Future [HCI1207BU] от Junchi Zhang и Christian Dickmann - демонстрация возможностей гиперконвергентной инфраструктуры.
• “If This Then That” for vSphere – The Power of Event-Driven Automation [HCI1379CU] от William Lam и Michael Gasch - средства автоматизации vSphere на базе триггеров событий.
• Hyperconverged Infrastructure: Present and Future [HCI2733BU] от Vijay Ramachandran - о будущем средств управления гиперконвергентной инфраструктурой.
• VMware CTO Panel: What’s Over the Horizon? [OCTO2899PU] от Ray O’Farrell, Pere Monclus, Greg Lavender и Christos Karamanolis - все самые последние новости об инфраструктуре виртуальных ПК VMware Horizon.
• The Virtually Speaking Podcast Live: The Future of Storage [HCI1894PU] от Pete Flecha, John Nicholson, и Ken Werneburg - сессия и живой подкаст о хранилищах.
• PowerCLI Deep Dive [HBI1729BU] от Kyle Ruddy и Luc Dekens - все самое интересное от гуру PowerCLI.
• vSphere Virtual Volumes: Technical Deep Dive [HBI2853BU] от Jason Massae и Thiruvengada Govindan Thirumal - одна из самых интересных сессий, так как именно функциональность VVols развивается самыми мощными темпами.
• VMware Cloud on AWS: SDDC Availability Deep Dive [HBI1924BU] от Jeremiah Megie и Glenn Sizemore - доступность ВМ и данных в публичном облаке - это то, что волнует очень многих.
• Zero to DR in 60 Minutes: VMware Site Recovery DRaaS Technical Deep Dive [HBI1229BU] от Stefan Tsonev и Cato Grace - все самое свежее о катастрофоустойчивых решениях VMware.
• Extreme Performance Series - это маст си о производительности платформы VMware vSphere, где нам покажут новые максимумы платформы и достижения в сфере высокой производительности.
• How GPU-Assisted ML for Medical Research Proved to Be a Force for Good [HBI1546BU] от Niels Hagoort и Johan van Amersfoort - прикладная демонстрация использования алгоритмов машинного обучения на платформе виртуализации. Модно.
• One Storage Platform for Thousands of Cloud Providers [HBI2537PU] от Ari Paul, Rawlinson Rivera и John Toor - рассказ о возможностях S3-совместимого объектного хранилища и vCloud Director для сервис-провайдеров.
• Core Storage Best Practices: Ensuring Your Storage Is Reliable [HBI2751BU] от Jason Massae и Cody Hosterman - на это обязательно надо сходить. Лекция от гуру подсистемы хранения vSphere (VMFS, NFS, VAAI и т.п.).
• Optimizing vSAN for Performance [HCI1757BU] от Paudie O’Riordan - крутая лекция о производительности vSAN.
• Showcase Keynote: Hybrid Cloud Architecture – The New Standard from the Data Center [HYB3544KU] от Kit Colbert, Raghu Raghuram и Mark Lohmeyer - о будущем виртуальных датацентров.
• vSphere Networking in the Data-Centric Future [HBI2136BU] от Sudhansu Jain и Disha Chopra - нам расскажут, что нового ожидается в сетевом стеке датацентров будущего.
• Innovations in vMotion: Features, Performance, and Best Practices [HBI1421BU] от Sreekanth Setty и Arunachalam Ramanathan - что нового еще может быть в vMotion? А вот и расскажут)
• VMware Cloud on Dell EMC: Technical Deep Dive [HBI1975BU] от Mike Hall и Sridevi Ravuri - раньше это называлось Project Dimension. Это создание облачной инфраструктуры SDDC, но на площадке заказчика.
• Encrypting VMs on Standalone Hosts: Tech Preview [HBI1947BU] от Mike Foley и Samyuktha Subramanian - что-то новое о шифровании ВМ.
• Diversity and Inclusion Tech Panel: You Can Drive Success for Women in Tech [PD2632U] от Jodi Shely - оффтопик об участии женщин в ИТ.
• Accelerating Intra-Host PVRDMA Storage Traffic in a Future Dell AMD Server [OCTO2718BU] от Richard Brunner и Shyamkumar Iyer - немного дип-тек хардкора для любителей.
• Edge Computing Innovations in Office of the CTO and Dell Technologies [EIOT2715BU] от Chris Wolf и Daniel Beveridge - новые возможности технологий VMware и Dell от CTO VMware.
• How to Become the Platform Engineer of the Future [PD2248U] от Martijn Baecke и Matthew Steiner - как стать работником будущего, быть актуальным и заработать много денег)

Конечно же, как и всегда, мы будем освещать VMworld 2019. Смотрите также наши обзоры с прошлых конференций:

• VMworld 2018
• VMworld 2017
• VMworld 2016
• VMworld 2015
• VMworld 2014
• VMworld 2013
• VMworld 2012
• VMworld 2011
• VMworld 2010
• VMworld 2009
• VMworld 2008
• VMworld 2007

На сайте проекта VMware Labs появилось новое средство Enterprise OpenShift as a Service on Cloud Automation Services, позволяющее облачным администраторам загрузить пакет, интегрировать его с Cloud Assembly и другими сервисами инфраструктуры, чтобы организовать кластер OpenShift как услугу (OpenShift Cluster as a Service) для гибридной облачной среды.

Данное средство автоматизирует весь процесс развертывания пакетов OpenShift в облаке VMware vCloud on AWS (end-to-end). Таким образом можно построить полностью готовый промышленный кластер OpenShift с использованием служб VMware Cloud Assembly Services. При этом данный процесс полностью повторяем и автоматизирован.

Как именно это работает, вы можете увидеть в видео ниже:

Для начала работы с данным средством вам понадобится достаточно серьезный набор решений в вашей ИТ-инфраструктуре:

• ОС Red Hat Enterprise 7.5 с активной подпиской для получения пакетов.
• OpenShift версии 3.11.
• Аккаунт в облачной инфраструктуре VMware Cloud on AWS или онпремизная среда vSphere.
• Аккаунт VMware Cloud Services с доступом к Cloud Assembly Services (CAS).
• vRealize Orchestrator 7.6, лицензированный с SaaS.
• Windows 2016, работающий как хост PowerShell (Windows PowerShell версии 5.1.14393.3053)
• Инфраструктурный сервер Windows 2016 Server (с ролями AD, DNS и NTP).

Скачать Enterprise OpenShift as a Service on Cloud Automation Services можно по этой ссылке. В комплекте с утилитой идет подробная документация на 40 страниц.

На прошлой неделе мы писали об организации среды управления на базе vCenter Hybrid Linked Mode для гибридной виртуальной инфраструктуры, объединяющей ресурсы частного и публичного облаков. Сегодня мы поговорим еще об одной полезной вещи - библиотеке контента Content Library, в которой можно хранить шаблоны виртуальных машин (VM Templates), готовые виртуальные устройства (Virtual Appliances) в формате OVF/OVA, а также другие объекты (например, ISO-образы).

VMware vSphere Content Library позволяет подписать датацентры на обновления главного датацентра (который представляется как издатель/publisher), где можно создать шаблон виртуальной машины, а на уровне подчиненного датацентра (подписчик/subscriber) администраторы видят содержимое библиотеки и развертывают машины из него.

Такая же ситуация и с облачной и гибридной средой -  Content Library очень просто и быстро позволяет распространять контент по сети датацентров.

Так же, как и в онпремизной инфраструктуре, в облаке VMware vCloud on AWS вы можете подписаться на обновления существующей Content Library. Для этого в vSphere Client перейдите в Menu > Content Libraries:

Нажмите плюсик для создания новой библиотеки:

Там нужно задать имя библиотеки и указать адрес облачного сервера SDDC vCenter Server (можно указать и онпремизный vCenter, если у вас библиотека на нем):

Далее указываем Subscription URL вашей библиотеки:

Можно сделать и локальную библиотеку, чтобы пользоваться ее ресурсами только в рамках облачной среды этого vCenter.

Дальше выбираем хранилище, где будет находиться контент:

Ну и после создания библиотека появится в списке:

Когда вы кликните на библиотеку, вы увидите разделение на шаблоны виртуальных машин, готовые виртуальные модули OVF/OVA и другой контент, такой как ISO-образы:

Далее можно выбрать, например, шаблон ВМ, нажать на него правой кнопкой и выбрать пункт создания новой ВМ из этого шаблона (New VM from This Template...):

Также весь этот путь в рамках рабочего процесса по операциям в vCenter можно пройти в лабораторной работе VMware Cloud on AWS - Getting Started Hands-on Lab.